【图像处理】-024 范数
1 L 1 L^1 L1范数与 L 2 L^2 L2范数
范数用于衡量一个向量的大小。形式上
L
p
L^p
Lp范数的定义如下:
(1)
L
p
=
(
∑
i
∣
x
i
∣
p
)
1
p
L^{p}=(\sum_{i}|x_i|^p)^\frac{1}{p} \tag{1}
Lp=(i∑∣xi∣p)p1(1)
其中,
p
∈
R
,
p
≥
1
p \in R,p \geq 1
p∈R,p≥1.
范数,包括 L p L^p Lp范数,是将向量映射到非负值的函数。
向量 x x x的范数衡量从原点到点 x x x的距离。范数是满足以下性质的任意函数
- f ( x ) = 0 ⟹ x = 0 ; f(x) = 0 \Longrightarrow x=0; f(x)=0⟹x=0;
- f ( x + y ) ≤ f ( x ) + f ( y ) ; f(x+y) \leq f(x) + f(y); f(x+y)≤f(x)+f(y); (三角不等式)
- ∀ α ∈ R , f ( α x ) = ∣ α ∣ f ( x ) \forall \alpha \in R, f(\alpha x)=|\alpha|f(x) ∀α∈R,f(αx)=∣α∣f(x)
当 p = 2 p=2 p=2时, L 2 L^2 L2范数又称为欧几里得范数(Euclidean norm).它表示从原点出发到向量 x x x的欧几里得距离。 L 2 L^2 L2范数经常简化表示为 ∣ ∣ x ∣ ∣ ||x|| ∣∣x∣∣。平方 L 2 L^2 L2范数经常用来衡量向量的大小,可以简单的通过点积 x T x x^T x xTx计算。
平方
L
2
L^2
L2范数在数学和计算上都比
L
2
L^2
L2范数方便。平方
L
2
L^2
L2范数对
x
x
x中每个元素的导数只取决于对应的元素,而
L
2
L^2
L2范数对每个元素的导数和整个向量有关。但平方
L
2
L^2
L2范数在原点附近增长十分缓慢,所以对部分区分零值与很小的非零值得元素很重要的应用中,
L
2
L^2
L2范数的表现比平方
L
2
L^2
L2范数更好。在这种情况下,可以使用
L
1
L^1
L1范数,其可以简化为:
(2)
L
1
(
x
)
=
∣
∣
x
∣
∣
1
=
∑
i
∣
x
i
∣
L^1(x)=||x||_1=\sum_i{|x_i|} \tag{2}
L1(x)=∣∣x∣∣1=i∑∣xi∣(2)
2 L 0 L^0 L0范数
使用统计向量中非零元素的个数来很衡量向量的大小时,有些人将其称为 L 0 L^0 L0范数。但这在数学意义上是不对的。非零元素的个数不满足之前范数定义中的三条性质中的第三条。因此, L 1 L^1 L1范数经常作为表示非零元素数目的替代函数。
3 L ∞ L^{ \infin } L∞范数
机器学习中出现的范数
L
∞
L^{ \infin }
L∞范数也称为最大范数,这个范数表示向量中具有最大幅值的元素的绝对值:
(3)
∣
∣
x
∣
∣
∞
=
max
i
∣
x
i
∣
||x||_{\infin}= \max_{i}|x_i| \tag{3}
∣∣x∣∣∞=imax∣xi∣(3)
4 Frobenius范数
有时,我们希望可以衡量矩阵的大小,在深度学习中,最常见的做法是使用Frobenius范数,即:
(4)
∣
∣
A
∣
∣
F
=
∑
i
,
j
A
i
,
j
2
||A||_F = \sqrt{\sum_{i,j}A_{i,j}^{2}} \tag{4}
∣∣A∣∣F=i,j∑Ai,j2(4)
其类似于向量的
L
2
L^2
L2范数。